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@ Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten 
techndlogischen Komponenten 

® 



Die Erfindung betrifft ein System und ein Verfahren zur 
objektorientierten Markierung und Zuordnung von Infor- 
mation zu selektierten technologischen Komponenten. 
Fur eitie optimierte Unterstutzung, insbesondere bei der 
Warning von Autpmatisierungssystemen, wird.ein Sy- 
stem zur objektorientierten Markierung und Zuordnung 
von Information zu selektierten technologischen Kompo- 
nenten zur situationsgerechten Unterstutzung der Inter- 
diction zwischen einem Ahwender urid einer technischen 
Vorrichtung, insbesondere furtechnische und industrielle 
Anwendungen, vorgeschlagen. Das System umfafct Spei- 
chermittel zur Speicherung von Dokumentationsdaten 
und mit Erfassungsmitteln zur Erfassung von realen Infor- 
mationen, Zug riffs mittel zum Zugriff auf die Dokumenta- 
tionsdaten, Auswertemittel zur Auswertung der realen In- 
formation und zur Auswahl der gespeicherten Dokumen- 
tationsdaten in Abhangigkeit der realen Informationen, 
mit Mitteln zur virtuellen Markierung einer technologi- 
schen Kompdnente und mit Mitteln zur Darstellung Zu- 
satzinformationen, die im Zusammenhang mit der durch 
die virtuelle Markierung selektierten technologischen 
Komponente stehen. 
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Beschreibung 



tOOOl] Die Erfindung betrifft eine Einrichtung und ein 
Verfahren zur objektorientierten Markierung und Zuord- 
nung von Information zu selektierten technologischeh Kom- 
ponenten. 

[0002] Eine derartige Einrichtung - im Folgenden auch 
als System bezeichnet - und ein derartiges Verfahren komrnt 
beispielsweise im Bereichder Automatisierungstechnik, bei 
Produktions- und Werkzeugmaschinen, bei Diagnose-/Ser- 
viceunterstutzungssystemen sowie fur komplexe Kompo- 
nenten, Gerate und Systeme, wie beispielsweise. Fahrzeuge 
und industrieile Maschinen und Anlagen zum Einsatz, 
[0003] Aus der DE 197 51 273 Al ist ein Verfahren zum 
computergestOtzten Erstellen und Handhaben einer auf Pro- 
dukt- oder Prozessiebenszyklen bezugnehmenden techni- 
schen Datenbank bekannt. Diese Datenbank wird unter einer 
einheitlichen, darstellungsseitig bildorientierten Benutzer- 
oberflache verwaltet, wobei die Systemkomponenten unter 
Steuerung durch diese Benutzeroberflache mindestens teil- 
weise selbstandig interaktiv kommunizieren konnen. 
[0004] In der DE 198 29 640 Al wird ein System und 
Verfahren zur Durchfuhrung einer Bild-basierten Diagnose 
beschrieben. Dabei werden historische Artefaktbilder und 
entsprechende MaBnahmen zur Behebung der Artefakte er- 
f asst und in einer Datenbank gespeichert Die Datenbank der 
historischen Artefaktbilder und eritsprechenden MaBnah- 
men wird zur Diagnose eines eingehenden Artefaktbildes 
mit einem unbekannten Fehler verwendet 
[0005] Die EP 0 699 997 B 1 beschreibt ein Verfahren und 
eine Vorrichtung zur Identifizierung von Storungen in einem 
komplexen System mit einer Vielzahl von zusammenge- 
schaltetenBauelementen. Es wird eine Storungsinformation 
generiert, welche das fur gestort gehaltene Bauelement be- 



dafi die Mittel zur virtuellen Markierung durch Sprachsteue- 
rung und/oder durch digkale Biidverarbeitung angesteuert 
werden. Der Anwender kann dabei beispielsweise ein be- 
stimmtes Objekt betrachten, wbdurch auch die Karnera ei- 
5 nes AR-Systems (= Augmented-Reality-Systems) das Ob- 
jekt aufrummt. Durch digitale Bildauswertung wird das so 
selektierte Objekt lokalisiert und kann virtuell markiert wer- 
den. Zusatzlich oder auch unabhangig von einer Bildaus- 
wertung kann das zu selektierende und zu markierende Ob- 
10 jekt durch Auswertung yon Sprachbefehlen des Anwenders 
detektiert werden. 

[0010] Eine "globale" Anwendung des Systems unabhan- 
gig vom jeweiligen Standort des Anwenders vor Ort kann 
dadurch erreicht werden, daB das System am Ort des An- 
15 wenders ein Augmented-Reality-System aufweist, das uber 
eine Datenverbindung mit einem entfernten Experten und/ 
oder einem entfernten Expertensystem zur Hinubertragung 
der Markierung und/oder zur Ruckubertragung von Zusatz* 
informationen, die im Zusammenhang mit der durch die vu> 
tuelle Markierung selektierten technologischen Kompo- 
nente stehen, yerbindbar 1st So kann die vor Ort erstellte 
Markierung des Objekts an einen entfernten Experten uber- 
tragen werden, der dann gezielt Zusatzinformationen zu 
dem jeweils markierten Objekt an den Anwender yor Ort 
ubermitteln kann. 
[0011] Weitere vorteilhafte Ausgestaltungen bestehen 
darin, daB die Dokumentationsdaten statische und/oder dy- 
namische Informationsdaten sind., Beispiele ftir derartige. 
statische. Informationen sind technische Daten aus Handbu- 
30 chern, Explosionszeichnungen, Wartungsanweisungen etc.. 
. Beispiele fiir dynamische Informationen sind ProzeBwerte 
wie Temperatur, Druck etc. 
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[0012] Ein schneller situationsgerechter Ziigang zu den 
Dokumentationsdaten wird dadurch weiter unterstiitzt, daB 
zeichnet und die die Stoning meldende Gruppe. Dieser Sto- 35 die Erfassungsmittel eine Bildaufhahmevorrichtung aufwei- 
rungsinformation konnen weitere Betriebsinformationen sen, daB die Auswertemittel zur Auswertung der realen In- 
oder Storungsbewertungsmeldungen zugeordnet werden. formadon in der Weise vorgesehen sind, daB aus der realen 

[0006] Der Erfindung liegt die Aufgabe zugrunde, eine Information ein Eisatzkontext, insbesondere ein Objekt der 
Einrichtung und ein Verfahren anzugeben, das in konkreten Dokumentationsdaten ermittelt wird und daB das System Vi- 
Arbeitssituationen einen schneUen und sicheren Zugriff auf 40 sualisierungsmittel zur Visualisierung der Dokumentations- 



relevante Dokumentationsdaten ermoglicht. 
[0007] Diese Aufgabe wird durch eine Einrichtung sowie 
durch ein Verfahren mit den in den Anspriichen 1 bzw. 4 an- 
gegebenen Merkmalen gelost. 

[0008] Bei den Dokumentationsdaten kann es sich bei- 
spielsweise um bei der Errichtung einer Anlage oder eines 
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daten aufweist. 
[0013] Ein schneller situationsgerechter Zugang zu den 
Dokumentationsdaten wird dadurch weiter unterstiitzt, daB 
die Erfassungsmittel anwendergesteuert sind und insbeson- 
dere als sprachgesteuerte Erfassungsmittel und/oder durch 
Steuerdaten gesteuerte JMassu„n^smittel ausgebildet sind. 



Automatisierungssystems ersteUte und gesammelte Daten [0014] Ein fur vieie AnwehdungsfaUe optimaler Einsatz 

und/oder auch im Betrieb einer Anlage oder eines Automa- 
tisierungssystems nach vorgebbaren Kriterien gepflegte und 
jeweils aktualisierte Dokumentationsdaten handeln. Diese 
Dokumentationsdaten konnen auf Speichermittel gespei- 
chert sein, die sowohl lokal, d. h. am Ort der jeweiligen An- 
wendung oder auch an jeden beliebig anderen Ort, beispiels- 
weise am Ort der jeweiligen HersteUerfirmen der einzelnen 
Anlagenkomponenten, gespeichert werden. Mit Hilfe der 55 
Erfassungsmittel werden beispielsweise aus einem Bildin- 
halt die realen Informationen erfaBt und uber die Auswerte- 
mittel ausgewertet, so daB eine Zuordnung der realen Ob- 
jekte zu in den Dokumentationsdaten gespeicherten Objekt- 
daten moglich wird. Anhand der realen Informationsdaten, 
beispielsweise in Form eines detektierten Objekts werden 
dann insbesondere autornatisch die zusatzlichen in dem Do- 
kumentationsdaten enthaltenen Objektdaten ausgewahlt und 
beispielsweise fiir Servicezwecke vor Ort zur Verfugung ge- 
stellt. Hierdurch wird ein situationsgerechter schneller Zu- 
gang zu den jeweils benotigten Daten ermoglicht. 
[0009] Ein ftir den Anwender sehr benutzerfreundliche 
Moglichkeit zur Markierung von Objekten besteht darin, 



von Augmented-RealityrTechniken auf Basis der statischen 
und/oder dynamischen £)okumentations- und/oder ProzeB- 
50 daten kann in der Weise erfolgen, daB die Erfassungsmittel 
und/oder die Visualisierungsmittel als Datenbrille ausgebil- 
det sind. 

[0015] Im folgenden wird die Erfindung anhand der in den 
Figuren dargestellten Ausruhrungsbeispieie naher beschrie- 
ben und erlautert. 
[0016] Eszeigen: 

[0017] Fig. 1 ein Blockschaltbild eines Ausftihrungsbei- 
spiels eines Systems zur Dokumentationsverarbeitung, 
[0018] Fig. 2 ein Blockschaltbild eines Ausfuhrungsbei- 
60 spiels eines Systems zur Dokumentationsverarbeitung', 
[0019] Fig. 3 ein weiteres Blockschaltbild eines Ausfuh- 
rungsbeispiels eines Systems zur Dokumentationsverarbei- 
tung, 

[0020] Fig. 4 ein Anwendungsbeispiel fiir einen situati- 
onsgerechten Zugriff auf Dokumentationsdaten, 
[0021] Fig. 5 eine erste Situationsdarstellung mit Pro- 
blemstellung und Arbeitssituation eines Anwendungsbei- 
spiels zur objektorientierten Markierung und Zuordnung 
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von Information zu selektierten technologischen Kompo- wie ein Mikrofon U angeordnet ist Die Datenbrille ist mit 

nenten, . einer Funk-Sende-Empfangsvorrichtung 6 gekoppelt, die 
[0022] Fig, 6 eine zweite Sitaationsdarstellung des An- iiber eine Funkschnittstelle 15 mit dem Automatisierungssy- 
wendungsbeispiels von Fig. 5 mit situationsabhangiger stem Al ... An kommunizieren kann. Das Automatisie- 

Augmentierung, . . 5 rungssystem Al ... An ist uber eine Datenverbindung 14 

[0023] Fig; 7 eine dritte Situationsdarstellung des Anwen- mit einem Augmented-Reality-System 10 koppelbar, wel- 

dungsbeispiels von Fig. 5, ches im folgenden auch abkiirzend als AR-System bezeich- 

[0024] Fig. 8 eine vierte Situationsdarstellung ziir objekt- net wird. Das AR-System enthalt ein Iriformationsmodul lb 

orientierten Markierung und Zuordnung von Information zur Speicherung von Informationsdaten, ein AR-Basismo- 

mittels sprachbasiertetlnteraktion, 10 dul 8 sowie ein AR-Anwendungsmodul 9. Das AR-System 

[0025] Fig. 9 eine fiinfte Situationsdarstellung zur objekt- 10 ist iiber eine Datenverbindung 13 mit dem Internet 5 ver- 

orientierten Markierung und Zuordnung von Information, bindbar, wobei uber eine beispielhaft dargestellte Internet- 

[0026] Fig, 10 eine sechste Situationsdarstellung zur ob- verbindung 12 ein Zugriff auf weitere Speicher- und Doku- 

jektorientierten tylarkierung; und Zuordnung von Informa- mentationsdaten la moglich ist. 

non » 15 [0032] Der Anwender, der mit der DatenbriUe 4 und der 

[0027] Fig, 11 eine siebte Situationsdarstellung zur ob- mobilen Funk-Sende-Einricbtung 7 ausgestattet ist, ist in 

jektorientierten Markierung und Zuordnung von Informa- der Lage, sich fur Wartungs- und SerVicezwecke in der An- 

tion und ^ lage Al . . . An frei zu bewegen. Ist beispielsweise die War- 

[0028] Fig. 12 eine achte Situationsdarstellung zur objekt- tung oder Reparatur einer bestiminten Teilkomponente der 

orientierten Markierung und Zuordnung von Information. 20 Anlage Al . . . An erforderlich, so wird mit Hilfe der Ka- 

[0029] Fig. 1 zeigt eine Prinzipdarstellung eines Systems mera 2 der Datenbrille 4 gegebenenfalls gesteuert durch 

zur Dokumentationsverarbeitung unter Zuhilfenahme von Sprachkommandos, die vom Mikrofon 11 erfaBt werden, ein 

Augmented-Reality-Techniken. Das System besteht aus , entsprechender Zugang zu den relevanten Dokumentations- 

Auswertemitteln A, an die Erfassungsmittel 2 sowie Visua- daten la, lb hergestellt. Hierzu wird uber die Funkschnitt- 

lisierungsmittel B angeschlossen sind. t)ber eine Datenver- 25 stelle 15 eine Datenverbindung zur Anlage Al . . . An oder 

bindung D sind die Auswertemittel A mit Speichermitteln 1 einem entsprechenden Funk-Sende-Modul aufgebaut und 

koppelbar. Die Speichermittel 1 enthalten Informationen II die Daten an das AR-System 10 ubermittelt. Im AR-System 

. . , In als Dokumentationsdaten. Die Erfassungsmittel 2 die- erfolgt eine situatiorisgerechte Aus wertung der vom Anwen- 

nen der Erfassung realer Informationen R eines Processes 3, der erhaltenen Daten und ein automatischer oder auch ein 

beispielsweise eines Automatisierungssystems. 30 interaktiv vom Anwender gesteuerter Zugriff auf Inforamti- 

[0030] Fig. 1 bildet die Grundstruktur eines Systems zur onsdaten la, lb f Die ermittelten relevanten Dokumentati- 

situationsgerechten Dokumentationsverarbeitung fur tech- onsdaten la, lb, werden uber die Datenverbindungen 14, 15 

nische und industrielle Anwendungen. Mit Hilfe der Erf as- an die Funk-Sende-Einrichtung 6 ubermittelt und insgesamt 

sungsmittel 2, beispielsweise einer Videokamera werden erfolgt auf Basis der erfaBten Arbeitssituation somit eine 

reale Informationen der technischen und industriellen An- 35 Analyse, die Grundlage fiir die Auswahl von Daten aus der 

wendung 3 erfaBt und mit Hilfe der Auswertemittel A, bei- vorliegenden statischen Information ist. Hierdurch ergibt 

spieisweise der digitalen Bildverarbeitungsmitteln analy- sich eine situationsgerechte, objektorientierte bzw. bauteilo- 

siert und ausgewertet Die Auswertiing der realen Informa- rientierte Auswahl relevanten Wissens aus den aktuellsten 

tionen R mit Hilfe der Auswertemittel A erfolgt beispiels- Datenquellen la, lb. Die Anzeige der Information erfolgt 

weise dahingehend, einzelne Objekte, d. h. einzelne Kom- 40 mit Hilfe der jeweils verwendeten Visualisierungskompo- 

ponenten eines Automatisierungssystems oder einer indu- nente, beispielsweise einem Hand ...... -PC oder einer 

striellen Anwendung zu detektieren. Diese Detektion kann Datenbrille. Von AR-basierten Technologien gesprochen 
beispielsweise in Form von an den realen Objekten ange- wird. Der Anwender vor Ort wird somit lediglich mit der In- 
brachten Zusateinformationen, beispielsweise in Form formation versorgt, die er braucht. Diese Information befin- 
Bare-Code-Aufklebern erfolgen oder durch Vergieich der 45 det sich jeweils auf dem aktuellsten Stand. Der Servicetech- 
Bildinformationen mit in den Auswertemitteln A und/oder niker wird beispielsweise nicht durch ein "100 Seiten-Ma- 
den Dokumentationsdaten 1 gespeicherten Vergleichsdaten. nual" mii Informationen uberfrachtetr-: 
Nach Ermitdung eines gewiirischten Objekts, welches mit [0033} Fig. 3 zeigt ein .weiteres An wendiingsbeispiel ei- 
der realen Information R korrespondiert, werden entweder nes Systems zur Dokumentationsverarbeitung fur Service 
automatisch und/oder interaktiv vom Anwender gesteuert 50 und Wartung. Das System besteht aus einem Augmented- 

die Dokumentationsdaten II In einem Anwender mit Reality-System 10, welches ein Informationsmodul lb zur 

Hilfe der VisuaHsierungsmittel B angezeigt. Diese Doku- . Speicherung von Informationsdaten, ein AR-Basissystem 8 

mentationsdaten II . . . In biiden eine Zusatzinformation fur sowie ein AR-Anwendungsmodul 9 enthalt. Das AR-Sy- 

eine situationsgerechte und zur Unterstutzung bei der Repa- ' stem 10 ist uber Bindungsleitungen 13, 18 ans Internet 5 ah- 

ratur, bei der Wartung, etc.. Abhangig von der realen Infor- 55 koppelbar. Von dort besteht uber eine beispielhafte Daten- 

mation werden jeweils die benotigten Dokumentationsdaten verbindung 12 eine Verbindungsmoglichkeit zu einem ent- 

situationsgerecht prasentiert Die Dokumentationsdaten II fernten PG 16 mit einem entfernten Experten 22. Die Kopp- 

... In konnen dabei entweder vor Ort, beispielsweise auf ei- lung zwischen den einzelnen Modulen des AR-Systems 10 

ner Datenverarbeitungsvorrichtung oder auch an entfernten erfolgt uber Verbindungen 19, 20, 21. Die Anwenderkom- 

Orten gespeichert sein, wobei in diesem Fall ein Zugriff bei- 60 munikation zwischen einem Anwender 7 und dem AR-Sy- 

spielsweis^ iiber eine Internet-Anbindung erfolgt. " stem erfolgt uber Schnittstellen 8, 23. Hierzu ist das AR-Sy- 

[0031] Fig. 2 zeigt eine Prinzipdarstellung eines Systems stem mit einer Sende-Empfangs-Vorrichtung koppelbar, die 

zur Dokumentationsverarbeitung fur eine situationsgerechte eine bidirektionale Datenkommunikation zwischen dem 

Unterstutzung der Interaktion zwischen einem Anwender . AR-System 10 und dem Anwender 7 iiber eine Datenbrille 4 

und Automatisierungseinrichtungen Al ... An. Der An- 65 entweder direkt uber die SchnittsteUe 8 oder uber ein imBe- 

wender, der in Fig. 2 nicht explizit dargestellt ist, ist mit mo- reich des Anwenders 7 angeordnete Funk-Sende-Empfangs- 

bilen Geraten 4, 6 ausgestattet Die mobilen GerSte 4, 6 be- einrichtung 17 uber eine SchnittsteUe 23 ermoglicht. Die 

inhalten eine Datenbrille 4, an der eine Videokamera 2 so- Verbindung 23 kann uber eine separate Datenverbindung 
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Oder liber das Strdrnnetz als "Power-Line"-Modem realisiert 
werden. Die Datenbrille 4 enthalt neben einer im Bereich 
der Brillengiaser angeordneten Anzeigevorrichtung eine 
Bilderfassungsvorrichtung 2 in Form einer Kamera sowie 
ein Mikrofon U. Der Anwender 7 kann sich nut Hilfe der 5 
Datenbrille 4 im Bereich der Anlagen Al . . . An bewegen 
und Service- oder Wartungsarbeiten durchfiihren. 
[0034] Mit Hilfe der Datenbrille 4 und der entsprechenden 
Rmk-Sende-Empfangsvorrichtungen, beispielsweise der 
Funk-Sende-Empfangsvorrichtung 17, die vom Personal di- 10 
rekt am Korper getragen wird, ist es moglich vorbeugende 
Funktionalitat zu erreichen: Zunachst erfolgt die Erfassung 
der jeweitigen Arbeitssituation, beispielsweise durch die 
Kamera 2 oder durch Lokalisierung durch das Personal 7. 
Auf Basis der erfaBten Arbeitsssituation erfolgt im AR-Sy- 15 
stem eine Auswahl von Daten gewarteteh Anlage Al . . . 
An. Der grundlegende Vorteil des in Fig. 3 dargestellten Sy- 
stems besteht darin, daB dieses System das Zusammenwir- 
ken der einzelnen Einzelfunktionalitaten anwendungsge- 
recht unterstutzt: So wird zunachst eine konkrete Arbeitssi- 20 
tuation automatisch erfafit, diese Arbeitssituation anschlie- 
Bend analysiert, wobei aus der aktuellsten, vorliegenden s ta- 
tischen Information in Kornbination mit den augenblicklich 
erfaBten dynamischen Daten automatisch die gerade rele- 
vanten Aspekte ermittelt^ werden. Hierdurch werden bei- 25 
spielsweise Montagehinweise mit aktuellen ProzeBdaten 
korreliert Das Personal 7 erhalt hierdurch eine situationsge- 
rechte Anzeige der relevanten Informationen beispielsweise 
durch eine uberlagerte Visualisierung der entsprechenden 
Daten in der Weise, daB im Sichtfeld des Personals die reale 30 
Arbeitssituation um die ermittelten Informationen erweitert 
wird. Hierdurch wird das Personal 7 in kurzester Zeit hand- 
lungsfahig gemacht und damit notwendige Maschinenlauf- 
zeiten gesichert. Unterstutzung kann der Wartungstechniker 
7 vor Ort auch uber den entfernten Experten 22 und das am 35 
Ort des entfernten Experten 22 vorliegende Wissen 16 erhal- 
ten. 

[0035] Fig. 4 zeigt ein Anwendungsbeispiel fur einen si- 
tuationsgerechten ZugrifF auf Dokumentationsdaten. Fig. 4 
zeigt einen ersten Bildschirmbereich Bl, in dem eine Anla- 40 
genkornponente dafgestellt ist. Ihi rechten Bildschirmbe- 
reich B2 ist ein Anwender 7 dargestellt, der beisjpielsweise 
eine einzeine Anlagenkomponente betrachtet Der Anwen- 
der 7 ist mit einer Datenbrille 4 augerustet, die eine Kamera 
2 als Erfassungsmittel enthalt. An der Datenbrille 4 ist dar- 45 
uber hinaus ein Mikrofon 11 sowie ein Lautsprecher 16 an- 
geordnet. Im linken Bildschirmbereich Bl ist ein Blick auf 
Rohrleitungen dargestellt, die mit der im Biidferister B2 dar- 
gestellten Datenbrille betrachtet werden konnen. Im linken 
BMschirmbereich Bl sind zwei Punkte Bl, B2 markiert, 50 
die jeweils zwei mit Hilfe der Datenbrille 4 betrachtete Bild- 
ausschnitte reprasentieren. Nach Betrachtung des er§ten 
Punkts PI , d. h. nach Betrachtung der im Bereich des Punk- 
tes PI angeordneten Rohrleitung werden dem Anwender 7 
Zusatzinforrnationen in der Datenbrille 4 visualisiert Diese 55 
Zusatzinformationen 11 bestehen aus Dokumentationsda- 
ten, die bezuglich des ersten Punktes Pi Arbeitsanweisun- 
gen fur dieses Rohrstuck enthalten und beziiglich des Punk- 
tes P2 die in einem zweiten Schritt durchzufuhrende Instal- 
lationsanweisung beinhalten. Die Installationsanweisung 60 
besteht in diesem Fail darin, daB dem Anwender 7 das Dreh- 
moment und die Drehrichtung der Schraubverbindung des 
Punktes P2 iiber die Visualisierung der Zusatzdaten 112 mit- 
geteilt werden. Der Anwender 7 erhalt somit innerhalb kiir- 
zester Zeit eine situationsgerechte Anweisung fur das be- 65 
trachtete Objekt. Bei der Verwendung eines intelligenten 
Werkzeugs, welches in der Lage ist, das gerade eingesetzte 
Drehmoment zu erfasseri, ist es weiterhin moglich, daB der 



Anwender basierend auf dem aktuellen Drehmoment auch 
dazu aufgefordert wird, das Drehmoment entsprechend zu 
erhohen oder zu verringern. 

[0036] Fig. 5 bis Fig. 12 zeigen jeweils Situationsdarstei- 
lungen eines Anwendungsbeispiels zur objektorientierten 
Markierung und Zuordnung von Information zu selektierten 
technologischeh Komponenten. Dabei sei ein Storf all in ei- 
ner Anlage oder sonstigen technischen Einrichtung gegeben 
(vgl. Fig. 5). Ein DV-technisch vorhandenes Storfallmana- 
gement lokalisiert mogliche Maschinenkomponenten, die 
das vorliegende Problem eingrenzen (vgl. Fig. 6, 7). Der 
Werker/Servicemitarbeiter- ausgestattet mit einem mobilen 
AR-System zur Unterstutzung seiner Tatigkeit - auBert eine 
Vermututng z. B. dadurch, dass er mit dem Finger auf mog- 
liche Problemzonen zeigt und/oder z. B. dadurch, dass es 
dies sprachlich unterstutzt ( rt . ... diese Baugruppekonnte de- 
fekt sein", vgL Fig. 8)). So hinterlasst beispielsweise der 
Finger ani techhologischen Objekt (z.B. der genannten 
Baugruppe) eine virtuelle Markierung (vgl. Kreis in Fig. 9), 
die fortan fur den remote-Systemspezialisten (ein Experte in 
einer, Servicezentrale) und dem Werker/Servicemitarbeiter 
vor Ort sichtbar bleibt. Beispielsweise sieht der Systemspe- 
zialist die Situation auf einem Monitor (Fig. 1 1), der das per 
Kamera und Datenleitung ubertragene Videobild visuali- 
siert. Der Werker hat seine Visualisierung vor Ort in einem 
"mobilen Monitor" (beispielsweise Headmounted Display, 
M Datenbrille tt oder Handheld). Der Remote Systemspezialist 
kommentiert die vom Werker vorgeschlagenen Problemzo- 
nen durch Sprache und weitere Information (wie Markierun- 
gen, zussatzliche Texte oder Diagramme, vgl. Fig. 12): 
Diese "Augmentierung" erfolgt durch Markieren durch ein- 
geblendete, objektgebundene Darstellung (Text, Bild, Mehr- 
ebenen Information - "Blick hinter das Objekt"). Die Zu- 
satzinformation/Augmentierung ist sodann insbesondere fur 
den Werker sichtbar mit visuellem Bezug zu dem relevanten 
technologischen Objekt (vgl Fig. 12 "Priife doch mal dieses 
Relais").. 

[0037] Wesentlicher Bestandteil der Erfindung ist somit 
eine objektorientierte virtuelle Markierung und Zuordnung 
von Information an optisch erfasste, reale technologische 
Komponenten, insbesondere zur Unterstutzung fur das ko- 
operative Arbeiten von Werkem mit remote verfugbaren Sy- 
stemspezialisten. Die Erfindung versteht sich insbesondere 
im speziellen Kontext der Anwendungsfelder "Produktions- 
und Werkzeugmaschinen" (NC-gesteuerte, automatisie- 
rungstechnische Prpzesse)_ sowie ,"Diagnose-/Serviceunter- 
stutzungssysteme fiir komplexe technische Komponenten/ 
Gerate/Systeme" (z. B. pahrzeuge, aber auch industrielle 
Maschinen und Anlagen)*,- 

[0038] Insbesondere in den Phasen Produktion, Inbetrieb- 
setzung und Service (Diagnose, Wartung, \ . .) geniigen her- 
kommliche lechnologien kaum mehr, um die komplexen 
Vorgange- und Bearbeitungsprozeduren zu unterstutzen. 
Mit Bezug auf kooperative Arbeit fehlen effiziente techni- 
sche Moglichkeiten zur Bearbeitung verteilter Problemlo- 
sungen, bei denen ein raumlich entfernter Systemspezialist 
mit dem Mitarbeiter/Werker vor Ort uber globale Distanzen 
hinweg kommuniziert. Dieser Fall ist besonders fur uberr 
wiegend mittelstandische Werkzeugmaschinenhersteller re- 
levant. Sie sind durch die Globalisierung gezwungen, Pro- 
duktionsstatten ihrer Kunden weltweit zu errichten. Jedoch 
ist eine Prasenz von Niederlassungen in alien wichtigen 
Markten weder aus wirtschaftlichen Griinden realisierbar, 
noch kann auf das profunde Wsseh erfahrener Service-Mit- 
arbeiter des Stammhauses bzgL der zunehmend komplexer 
werdenden Anlagen verzichtet werden. 
[0039] Die Erfindung betrifft die Moglichkeit, "virtuelle 
Markierungen" an optisch erfassten, realen technischen 
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Komponenten vorzunehmen. Diese "Markierungen" (= Ob- 
jektidentifikationen) erfolgen durch, aus Benutzersicht in- 
tuitiv einsetzbare Interaktionstechnikeri wie z. B. Gestik und 
Sprache. 

[0040] Bisherige eher handische Losungsansatze werden 5 
dadurch uberflussig oder zumindest erheblich erleichtert. 
Solche bisherigen Losungsansatze bestanden beispielsweise 
in einer verbalen Kommunikation zur situativen Beschrei- 
bungvon Arbeitssituationen bzw. femmundliche Hinweise 
zur Untersttitzung bei, der Bearbeitung von gegebenen Auf- 10 
gabenstelluhgen. 

[0041] Bei der durch die Fig. 5 bis 12 vorgesehenen Vor- 
gehensweise kommt als Besonderheit eine Mensch-Tech- . 
nik-Interaktion durch Augmented Reality zum Einsatz mit 
einer sehr einfachen und intuitiven Kommunikation mit dem 15 
Computer, beispielsweise erganzt durch multimodale Inter- 
aktionstechniken wie Sprachverarbeitung oder Gestikerken- 
nung. 

[0042] Identifikation technologischer Objekte mit Metho- 
den der Bilderkennung (durch analytische Bildveirarbeitung) 20 
in optisch erfassten und dokumentierten realen Arbeitssitua- 
tionen, wobei die "Markierung", d. h. Identifikation von re- 
levanten technologischen Objekten, beispielsweise. durch 
den Werker (= Anwender) erfolgt mittels mutlimodalen In- 
teraktionsmethoden wie z. B. Gestikerkennung u. U. zusam- 25 
men mit Spracherkennungl Eine Markierung . bleibt dem 
technologischen Objekt zjigeordnet und kann auch analog 
zur Unterstutzung durch "remote" verfiigbaren Systemspe- 
zialisten verwendet werden. 

[0043] Das wesentliche Neue und Besondere liegt dabei in 3a . 
der Markierung durch den Werker, in der Bindung der Mar- - 
kierung an Objekt sowie ggf in der Markierung und Aug- 
mentierung durch remote Systemspezialisten. 
[0044] Zusammenfassend betrifTt die Erfindung somit Sy- 
stem und eih Verfahren zur objektorientierten Markierung 35 
und Zuordnung von Information zu selektierten technologi- 
schen Komponenten. Fur eine optimierte Unterstutzung ins- 
besondere bei der Warning von Automatisierungssystemen 
wird ein System zur objektorientierten Markierung und Zu- 
ordnung von Information zu selektierten technologischen 40 
Komponenten zur situationsgerechten Unterstutzung derln- 
teraktion zwischen einem Anwender und einer technischen 
Vorrichtung, insbesondere.fur technische und industrielle 
Anwendun'gen vorgeschlagen. Das System umfaBt Spei- 
chermittel zur Speicherung von Dokumentationsdaten und 45 
mit Erfassungsmitteln zur Erfassung von realen Inforrnatio- 
nen, Zugriffsmittei zum Zugriff auf die Dokumentationsda- 
ten, Auswertemittel zur Auswertung der realen Information 
und zur Auswahl der gespeicherten Dokumentationsdaten in 
Abhangigkeit der realen Informationen, mit Mitteln zur vir- 50^ 
tuellen Markierung einer technologischen Komponente und 
mit Mitteln zur Darstellung Zusatzinformationen, die im 
Zusammenhang mit der durch die virtuette Markierung se- 
lektierten technologischen Komponente stehen. 

55 

Patentanspriiche 

1. Einrichtung zur objektorientierten Markierung und 
Zuordnung von Information zu selektierten technologi- 
schen Komponenten zur situationsgerechten Unterstut- 60 
zung der Interaktion zwischen einem Anwender (7) 
und einer technischen Vorrichtung (Al . . . An), insbe- 
sondere fur technische und industrielle Anwendungen, 
.mit Speichermitteln (1) zur Speicherung von Doku- 
mentationsdaten (II . ... In) und mit Erfassungsmitteln 65 
(2) zur Erfassung von realen Informationen (R), mit 
Zugriffsmittein (D) zum Zugriff auf die Dokumentati- 
onsdaten (II . . . In), mit Auswertemitteln (A) zur Aus- . 
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wertuhg der realen Information (R) und zur Auswahl 
der gespeicherten Dokumentationsdaten (II ... In) in 
Abhangigkeit der realen Informationen (R), mit Mit- 
teln zur virtuelien Markierung einer technologischen 
Komponente und mit Mitteln zur Darstellung von Zu r 
satzinformatipnen, die im Zusammenhang mit der 
durch die virtuelle Markierung selektierten technologi- 
schen Komponente stehen. 

2. Einrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, dass die Mittel zur virtuelien Markierung 
durch Sprachsteuerung und/oder durch digitale Bild- 
verarbeitung angesteuert werden. 

3. Einrichtung nach einem der Anspriiche 1 oder 2, da- . 
durch gekennzeichnet, dass die Einrichtung am Ort des 
Anwenders (7) ein Augmented-Reality-System auf- 
weist, das uber eine Datenverbindung mit einem ent- 
fernten Experten und/oder einem entf ernten Experten- 
system zur Hinubertragung der Markierung und/oder 
zur Ruckiibertragung von Zusatzinformationen, die im 
Zusammenhang mit der durch die virtuelle Markierung 
selektierten technologischen Komponente stehen, ver- 
bindbarist 

4. Verfahren zur objektorientierten Markierung und 
Zuordnung von Information zu selektierten technologi- 
schen Komponenten zur situationsgerechten Unterstut- 
zung der Interaktion zwischen einem Anwender (7) 
und einer technischen Vorrichtung (Al . . . An), insbe- 
sondere fur technische und industrielle Anwendungen, 

z bei dem Dokumentationsdaten (II ... In) gespeichert 
werden und reale Informationen (R) mit Erfassungs- 
mitteln (2) erfasst werden, bei dem auf die Dokumenta- 
.tionsdaten (II, . . . In) in der Weise zugegriffen wird* 
dass die realen Informationen (R) ausgewertet werden 
und in Abhangigkeit der realen Informationen (R) die 
gespeicherten Dokumentationsdaten (II . . . In) ausge- 
wahlt werden, wobei an einer zu selektierenden tech- 
nologischen Komponente eine virtuelle Markierung 
angebracht wird und dem Anwender zu der durch die 
virtuelle Markierung selektierten technologischen 
Komponente zugehorige Zusatzinformationen darge- 
stellt werden. 

5. Verfahren nach Anspruch 4, dadurch gekennzeich- 
net, dass die virtuelle Markierung sprachbasiert und/ 
oder durch digitale Bildverarbeitung angebracht wird. 

6. Verfahren nach einem der Anspriiche 4 oder 5, da- 
durch gekennzeichnet, dass vom Ort des Anwenders 
(7) von einem AugmentechRearity-System iiber eine 
Datenverbindung rriit einem entfemteri Experten und/ 
oder einem entfernten Expertensystem eine Hinuber- 
tragung. der Markierung erfolgt und/oder eine Ruck- 
iibertragung von Zusatzinformationen, die im Zusam- 
menhang mit der durch die virtuelle Markierung selek- 
tierten technologischen Komponente stehen . 

Hierzu 11 Seite(n) Zeichnungen 




201410/216 



ZEICHNUNGEN SEfTE 2 



Nummer: 
Int CI. 7 : 

Veroffentlichungstag: 



DE199 53 739C2 
G06F 17/30 

11.Oktober2001 




201 410/216 



ZEICHNUNGEN SEITE 3 ] \" .«','";. [ Z> Summer: DE19953739C2 

-./•V V' ,; '. .;!ht CI. 7 : G 06 F 17/30 

Veroffentliehungstag: 11. Old ber 2001 




201410/216 



ZEICHNUNGEN SEITE 4 



Nummer: 
Irit CI.V 

yeroffentlichungstag: 



DE19953739C2 
G 08 F 17/30 
11.Oktober2001 




201410/216 



ZEICHNUNGEN SEITE 5 ^ ISiummer: DE199 53 739C2 

J /^lnt ; Ci.?: •- ' G 06 F 17/30 

\- . Veroffentlichungstag: 11, Oktober 2001 




201 410/216 



. Nummer: DE19953 739 C2 

• jntCI. 7 : G 06 F 17/30 

Veroffentlichungstag: 11. Oktober 2001 




201 410/216 



ZEICHNUNGEN SEITE 6 



ZEICHNUNGEN SElTE 7 



Nummer: DE199 53 739 C2 

IntQL 7 :. G06F 17/30 

Verioffentlichungstag: 11. 0kt ber 2001 




00 
LL 




201 410/216 



ZEICHNUNGEN SEITE 8 



; Numnier: 
.IntCI; 7 : 

V e rdff entl ich u n gsta g : 



DE199 53 739C2 
G08F 17/30 

. 11.Oktober2001 





201410/216 



ZEICHNUNGEN SEITE 9 



Nufnmer: DE199 53 739 C2 

Int. Ck 7 : G08F 17/30 

V rqffentlichungstag: 11. Oktober 2001 




201 410/216 



ZEICHNUNGEN SEITE 10 



DE199 53 739C2 
G08F 17/30 

11. October 2001 




201 410/216. 



2EICHNUNGEN SEITE11 



(Mummer: 
Int. CI 7: 

Veroffentlichungstag: 



DE199 53 739C2 
G06F 17/30 

11.0ktober2001 




201 410/216. 



